Evolusi NLP: Dari AI Terfragmentasi ke Model Fondasi

Definisi

• AI Terfragmentasi: Sebuah era yang ditandai oleh arsitektur saraf khusus yang terpisah-pisah, dirancang untuk tugas individu seperti pelabelan sekuens atau klasifikasi.
• Model Fondasi: Arsitektur transformer monolitik yang terpadu yang memperlakukan semua masalah linguistik sebagai sekuens generatif teks-ke-teks $x \rightarrow y$.

Konsep Inti

• Konsolidasi Arsitektural: Secara historis, NLP membutuhkan pipeline khusus (Bi-LSTM untuk NER, CNN untuk sentimen). LLM meruntuhkan silo-silo ini menjadi satu backbone tunggal di mana bobot yang sama digunakan untuk setiap tugas.
• Antarmuka Terpadu: LLM menggantikan "output head" khusus (mis., Softmax 3-kelas) dengan antarmuka bahasa alami. Masukan dan keluaran selalu berupa string, memungkinkan model untuk menafsirkan niat daripada format.
• Transfer Pengetahuan: Model tradisional bersifat "tabula rasa" untuk setiap tugas. LLM mengutamakan Generalisasi Terlebih Dahulu, di mana tugas-tugas spesifik hanyalah penerapan dari representasi internal bahasa yang sudah ada dan kokoh.

Konteks Historis

• Pra-2018: Isolasi tugas mengharuskan pelatihan model yang berbeda dengan fungsi loss yang berbeda $\mathcal{L}_{task}$.
• Era Modern: Paradigma "Teks-ke-Teks" memungkinkan satu model (mis., Llama-3) untuk beralih tugas melalui prompting zero-shot atau few-shot.